A Re-interpretation of Jones, Harrold and Stasko Test Information Visualization (long Version)

The current trend in debugging and testing is to cross-check information collected during several executions. Jones et al., for example, propose to use the instruction coverage of passing and failing runs in order to visualize suspicious statements. This seems promising but lacks a formal justification. In this paper, we show that the method of Jones et al. can be re-interpreted as a data mining procedure. More particularly, the suspicion indicator they define can be rephrased in terms of well-known metrics of the data-mining domain. These metrics characterize association rules between data. With this formal framework we are able to explain limitations of the above indicator. Three significant hypotheses were implicit in the original work. Namely, 1) there exists at least one statement that can be considered as faulty ; 2) the values of the suspicion indicator for different statements should be independent from each others; 3) executing a faulty statement leads most of the time to a failure. We show that these hypotheses are hard to fulfill and that the link between the indicator and the correctness of a statement is not straightforward. The underlying idea of association rules is, nevertheless, still promising, and our conclusion emphasizes some possible tracks for improvement. Résumé : La tendance actuelle en débogage et test de programmes est de recouper des informa-tions rassemblées lors de plusieurs exécutions. Jones et al., par exemple, proposent d'employer la couverture d'instructions calculée pour des exécutions réussissant etéchouant afin de visualiser des instructions suspectes. Ceci semble prometteur mais il manque une justification formelle. Dans cet article, nous montrons que la méthode de Jones et al. peutêtre réinterprétée comme un procédé de fouille de données. Plusparticulì erement, l'indicateur de suspicion qu'ils définissent peutêtre refor-mulé en termes de métriques bien connues en fouille de données. Ces métriques caractérisent des r` egles d'association entre les données. Avec ce cadre formel nous pouvons expliquer des limitations de l'indicateur mentionné ci-dessus. Trois hypothèses significativesétaient implicites dans le travail original. A savoir, 1) il existe au moins une instruction qui peutêtre considérée comme défectueuse ; 2) les valeurs de l'indicateur de suspicion pour différentes instructions doiventêtre indépendantes les unes des autres ; 3) exécuter une instruction défectueuse conduit la plupart du tempsà unéchec. Nous prouvons qu'il est difficile de satisfaire ces hypothèses et que le lien entre l'indicateur et la correction d'une instruction n'est pas direct. L'idée fondamentale des r` egles d'association est, néanmoins, prometteuse, …